他25岁进贝尔实验室,32岁提信息论,40岁办达特茅斯会议,晚年患上阿兹海默 | 人物志
整理 | 琥珀
出品 | AI科技大本营(ID:rgznai100)
有人说:现在的创新主要是把几十年前的理论成果,通过技术和工程来实现。如今产业发展遇到了瓶颈,需要新的理论突破和基础技术的发明。人类的文明和技术不断推进,旧的不去,新的不来,如何才能剔除那些阻碍我们进步的绊脚石,为人类提供新的发展空间呢?
1956 年达特茅斯会议被广泛认为是 “人工智能(Artificial Intelligence)” 概念诞生的标志性事件,会议的主要发起四人组分别是:约翰 · 麦卡锡(John McCarthy)、马文 · 闵斯基(Marvin L. Minsky)、Nathaniel Rochester、克劳德 · 艾尔伍德 · 香农(Claude Elwood Shannon)。然而,就是这样“一小群”科学家发起的会议催生了后来为人们所认知的人工智能革命,其中讨论的关于自动计算机、如何为计算机编程使其能够使用、语言神经网络、计算规模理论、自我改造、抽象、随机性与创造性等议题,直到如今都是人工智能领域致力于积极解决的难题。
今天,我们就来讲讲会议发起人之一的克劳德 · 艾尔伍德 · 香农(Claude Elwood Shannon)。
大家都知道计算领域最高奖项是图灵奖, 从 1966 年起,由美国计算机学会(ACM)为了纪念图灵的卓越贡献而设立。不久前颁给深度学习三巨头 Yoshua Bengio、Yann LeCun、Geoffrey Hinton 的奖项正是图灵奖。同样,在信息领域,为表彰做出卓越贡献的科学家和工程师,香农奖的地位同样重要。
在首届 IEEE 学会设立的香农奖项颁奖典礼上,香农领取了以自己名字命名的香农奖。
美国数学家、电子工程师和密码学家,被誉为信息论的创始人……
1937 年,21 岁的香农在其硕士论文中提出,将布尔代数应用于电子领域,能构建并解决任何逻辑和数值关系,被誉为有史以来最具水平的硕士论文之一。1948 年,香农发表了《通信的数学理论》论文,提出了信息熵的概念,并创建了信息论。
现在天才这个词用的太随意,实际上天才是很少见的,真正配得上这个词的人不多。实际上,香农的学术贡献已经不需要世人再多赘言了。
除了是信息论之父外,香农还是一位投资人、发明爱好者、解谜爱好者和爱搞恶作剧的人。
还有一则故事是,香农竟然是托马斯 · 爱迪生的远方亲戚。
再回到 1956 年,麦卡锡邀请他一同发起达特茅斯会议时,香农已是贝尔实验室的顶尖级大佬了。
有人总结道:“由香农所开创的信息论,不单单是信息通信科学的基石,直至今日,仍然是是深度学习的重要理论依据。信息论综合运用了微积分、概率论和统计学等诸多学科,在深度学习中,也起到了非常重要的作用:如常见的交叉熵损失函数;在最大信息增益的基础上构建决策树;在 NLP 和演讲中广泛使用的 Viterbi 算法;在机器翻译中常用的 RNN 和各种类型的模型中普遍使用的编码器和解码器等。”
近日出版的《香农传》一书,全面回顾了香农精彩的一生。从 0 到 1 开创信息时代,将一切信息完全抽象为比特,将一切信号都用 0 和 1 进行编码,一个非常了不起的突破。
试想:如何将一段视频压缩至 50% 以上,同时不损失任何信息,但压缩也是有限度的,更高的压缩会使文件下载和分享更为方便,但压缩后的文件质量会永久受损?
毫不过誉地讲,如果没有这个理论,也就没有了标准压缩图片、或是压缩文件、高清电影、数字通讯等。但它的影响远不止此,尽管信息的数学理论无法说明任何关于数据的意义,但是它打开了一种新的可能,关乎我们如何理解自身,使得我们都能够用数据测量和编码。
或许,会有人追问谁才是真正的人工智能奠基者?是约翰 · 冯 · 诺依曼?还是艾伦 · 图灵?说实话,缺了谁都不行。
1916 年 4 月 30 日,香农出生于美国密歇根州一个叫做 Gaylord 的小镇,1936 年获得密歇根大学的数学与电气工程学士学位 ,1940 年获得 MIT 数学硕士和博士学位,1941 年进入贝尔实验室工作。晚年,香农患上阿尔兹海默症,在与病魔抗争了很长一段时间后,2001 年 2 月 26 日,香农逝世,享年 84 岁。
忘了说一句,今天是 4 月 30 日,也是信息科学之父香农的 103 周年诞辰。
生日快乐,香农!
(本文为AI科技大本营整理文章,转载请微信联系 1092722531)
◆
CTA核心技术及应用峰会
◆
5月25-27日,由中国IT社区CSDN与数字经济人才发展中心联合主办的第一届CTA核心技术及应用峰会将在杭州国际博览中心隆重召开,峰会将围绕人工智能领域,邀请技术领航者,与开发者共同探讨机器学习和知识图谱的前沿研究及应用。
更多重磅嘉宾请识别海报二维码查看,目前会议早鸟票发售中(原票价1099元),点击阅读原文即刻抢购。
推荐阅读